在本文中,我们考虑了分散的优化问题,在这些问题中,代理具有个人成本函数,以最大程度地减少受到子空间约束的约束,这些子空间约束需要整个网络的最小化器才能位于低维子空间中。这种约束的公式包括共识或单任务优化作为特殊情况,并允许更一般的任务相关性模型,例如多任务平滑度和耦合优化。为了应对沟通限制,我们提出并研究一种自适应分散策略,在该策略中,代理人在与邻居进行交流之前,使用差异随机量化器来压缩其估计。分析表明,在量化噪声的某些一般条件下,对于足够小的步长$ \ mu $,该策略在均方误差和平均比特率方面都是稳定的:通过减少$ \ mu $,可以将估计错误保持较小(按$ \ mu $)保持较小,而不会无限地增加比特率为$ \ mu \ rightarrow 0 $。模拟说明了理论发现和提议方法的有效性,表明可以实现分散学习,但仅需少量。
translated by 谷歌翻译